我们考虑以持续的错误警报率（CFAR）学习检测器的问题。基于经典模型的复合假设检验解决方案对不完美的模型敏感，并且通常在计算上昂贵。相比之下，数据驱动的机器学习通常更强大，并产生具有固定计算复杂性的分类器。在许多应用中，学到的探测器通常没有CFAR。为了缩小这一差距，我们引入了CFARNET，其中损失函数受到惩罚，以在任何零假设的情况下促进检测器的类似分布。在具有一般高斯噪声的线性模型的情况下，渐近分析表明，经典的广义似然比检验（GLRT）实际上是CFAR约束贝叶斯风险的最小化器。合成数据和实际超光谱图像的实验表明，CFARNET导致近CFAR检测器的精度与竞争对手相似。
translated by 谷歌翻译
我们考虑将机器学习用于假设检验，重点是目标检测。基于古典模型的解决方案依赖于比较似然。这些对不完美的模型敏感，通常在计算上昂贵。相比之下，数据驱动的机器学习通常更强大，并产生具有固定计算复杂性的分类器。学习的探测器通常具有较低的复杂性，但在许多应用中所需的不持续的错误警报率（CFAR）。为了缩小这一差距，我们建议在任何零假设方案下促进检测器的相似分布的损失函数添加术语。实验表明，我们的方法以与竞争对手相似的准确性导致接近CFAR探测器。
translated by 谷歌翻译
卷积神经网络包含强大的先验，用于产生自然的图像[1]。这些先验可以以无监督的方式启用图像降解，超级分辨率和灌输。以前尝试在音频中展示类似想法的尝试，即深度音频先验，（i）使用诸如谐波卷积之类的手挑选的体系结构，（ii）仅使用频谱输入工作，并且（iii）主要用于消除高斯噪声[2]。在这项工作中，我们表明，即使在使用原始波形时，现有的音频源分离的SOTA体系结构也包含深度先验。可以通过训练神经网络来发现深度先验，以产生单个损坏的信号，因为将白噪声作为输入。具有相关深度先验的网络可能会在损坏的信号收敛之前生成更清洁的信号版本。我们通过几种损坏证明了这种恢复效果：背景噪声，混响和信号中的差距（音频介绍）。
translated by 谷歌翻译
培训最先进模型所需的基础设施变得过于昂贵，这使得培训此类模型仅适用于大型公司和机构。最近的工作提出了几种协作培训此类模型的方法，即通过将许多独立方的硬件汇总在一起，并通过Internet培训共享模型。在此演示中，我们合作培训了类似于Openai Dall-E的文本到图像变压器。我们邀请观众加入正在进行的训练运行，向他们展示有关如何使用可用硬件贡献的说明。我们解释了如何应对与此类训练运行相关的工程挑战（缓慢的沟通，有限的内存，设备之间的性能不均和安全问题），并讨论了观众如何设置协作培训。最后，我们表明所得模型在许多提示上生成了合理质量的图像。
translated by 谷歌翻译
机器学习（ML）正在进入安全关键系统（SCS）。目前的安全标准和实践并非设计用于应对ML技术，并且很难相信包含ML组件的SCS是安全的。我们的假设是急于部署ML技术，以彻底检查ML技术是否使用我们尚未充分能够检测和减轻反对的安全问题。因此，我们进行了一个有针对性的文献调查，以确定已经在将ML到SC施加到SCS的研究工作，并在评估部署ML组件的SCSS的安全性方面进行了消耗。本文介绍了调查的（令人惊讶）结果。
translated by 谷歌翻译
许多深度学习领域都受益于使用越来越大的神经网络接受公共数据训练的培训，就像预先训练的NLP和计算机视觉模型一样。培训此类模型需要大量的计算资源（例如，HPC群集），而小型研究小组和独立研究人员则无法使用。解决问题的一种方法是，几个较小的小组将其计算资源汇总在一起并训练一种使所有参与者受益的模型。不幸的是，在这种情况下，任何参与者都可以通过故意或错误地发送错误的更新来危害整个培训。在此类同龄人的情况下进行培训需要具有拜占庭公差的专门分布式培训算法。这些算法通常通过引入冗余通信或通过受信任的服务器传递所有更新来牺牲效率，从而使它们无法应用于大规模深度学习，在该大规模深度学习中，模型可以具有数十亿个参数。在这项工作中，我们提出了一种新的协议，用于强调沟通效率的安全（容忍）分散培训。
translated by 谷歌翻译
现代深度学习应用程序需要越来越多地计算培训最先进的模型。为了解决这一需求，大型企业和机构使用专用的高性能计算集群，其建筑和维护既昂贵又远远超出大多数组织的预算。结果，一些研究方向成为几个大型工业甚至更少的学术作用者的独家领域。为了减轻这种差异，较小的团体可以汇集他们的计算资源并运行有利于所有参与者的协作实验。这种范式称为网格或志愿者计算，在众多科学领域看到了成功的应用。然而，由于高延迟，不对称带宽以及志愿者计算独特的几个挑战，使用这种用于机器学习的方法是困难的。在这项工作中，我们仔细分析了这些约束，并提出了一种专门用于协作培训的新型算法框架。我们展示了我们在现实条件下的SWAV和Albert预先预价的方法的有效性，并在成本的一小部分中实现了与传统设置相当的性能。最后，我们提供了一份成功的协作语言模型预先追溯的详细报告，有40名参与者。
translated by 谷歌翻译